熵(entropy)是表示随机变量不确定性的度量,熵越大,随机变量的不确定性就越大。 设X是一个取有限个值的离散随机变量，其概率分布为 [latex]P(X=x{i}) = p{i}, i=1,2,\cdot \cdot \cdot,n[/latex] 则随机变量X的熵定义为 [latex]H(X) = -\sum{i=1}^n p{i}\log {p_{i}}[/latex] 对数以2或e为底
scipy.stats.entropy(pk, qk=None,base=None)
计算给定概率值的分布的熵
In [213]: from scipy import stats
In [215]: stats.entropy([9/15,6/15],base=2)
Out[215]: 0.9709505944546688
Ref：
1.scipy文档
2.统计学习方法